CUA-Master：开放世界递归改进驱动的计算机使用智能体扩展
🧭 CUA 数据飞轮与递归训练
MMLab, CUHK · THU · HKUST(GZ) · Explore Academy · JD
提出嵌套双循环递归改进框架 CUA-Master，结合开放世界数据与自催化传播，显著提升 GUI 智能体性能。
📌 工作参考价值（4 点）
- 构建双循环数据飞轮：外层利用开放世界语料和模型弱点指导数据迭代，内层从教学视频提取真实工作流作为种子任务，通过视觉-语义双路径重建轨迹，可迁移到电商 RPA/后台自动化数据生产。
- 自催化传播：将种子任务提炼为可重用原语（primitives），可控合成多样、复杂、可验证任务，适合生成大规模 GUI 操作训练集，降低人工采集成本。
- 快照回滚重试机制：在真实环境中通过反馈引导快照与回滚，提升轨迹收集的成功率和可靠性，可用于线上 Agent 执行时的容错与数据回收。
- 结果证明递归迭代可带来持续增益，CUA-Master-27B 在 OSWorld 等 benchmark 达到 80.2，说明中等规模模型配合高质量数据合成可逼近大模型，适合资源有限的业务团队。
从交互到能力：以任务推进为状态与监督的 GUI 智能体记忆
🧭 Agent 任务状态与经验记忆 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Shandong University
将已验证任务进展作为在线状态与离线监督，从跨应用长程任务中学习可复用操作
📌 工作参考价值（4 点）
- 在电商导购/任务型 Agent 中，把用户已确认的约束（预算、尺码、偏好、收货地址）作为 verified task progress 绑定到剩余决策节点，后续只推进依赖已满足的目标，避免跨商品页/订单页重复询问。
- 从成功与失败的会话中抽取「局部有效操作」作为可复用算子：定义入口输入、期望结果、验证条件，例如「给定尺码+偏好筛选候选商品」或「根据地址+支付方式完成下单」，即使整单未成交也能沉淀有效环节供后续会话复用。
- 区分 draft/attempt/confirmed：在推荐流程中只把「加入购物车」「提交订单」等强确认信号作为状态更新依据，不把生成过程或中间点击误判为已完成结果，减少错误状态对后续决策的污染。
- 借鉴 Evidence Cache 和按依赖召回：为多轮推荐对话缓存商品详情图、用户历史 SKU 属性等结构化证据，按剩余需求的 input dependencies 按需读取，降低上下文 token 并提高信息可用性。
AnTrap：评估Android GUI Agent对运行时异常的鲁棒性基准
🧭 GUI Agent 鲁棒性评估与对抗训练
Zhejiang University · Yale University · Tongji University · University of Chinese Academy of Sciences
提出AnTrap基准系统注入动态对抗扰动，揭示GUI Agent普遍脆弱并区分可学习与推理瓶颈异常
📌 工作参考价值（4 点）
- 将线上 Agent 可能遇到的弹窗、误操作、状态死锁等异常抽象为分层陷阱（State/Thinking/Action/Round），在部署前构建对抗测试集做压测，提前暴露脆弱环节。
- 用 GRPO 在含陷阱环境中训练可修复大部分单步状态/动作层异常，适合作为上线前的鲁棒性微调步骤；但状态死锁等深层上下文陷阱无法仅靠环境训练解决，需要额外引入记忆、回溯或规则兜底机制。
- 借鉴其“保持任务可解”的扰动构造管道：在业务环境中注入异常时保留原始任务可达性，避免测试集失真，从而准确度量鲁棒性而非任务难度。
- 对电商推荐 Agent，可将广告弹窗、支付中断、页面跳转异常等作为 State 层扰动，将模型选错工具或遗漏步骤作为 Thinking/Action 层陷阱，系统化定位故障来源。
本地计算机使用智能体的推理时扩展再思考：失败模式与计算权衡
🧭 推理时扩展与失败分析
Hanyang University
系统实证表明，推理时扩展在本地 CUAs 中收益递减且会改变失败模式，需选择性地分配计算
📌 工作参考价值（4 点）
- 在资源受限的本地推荐 Agent 中，上下文扩展的收益会饱和：给 Agent 看更多历史轨迹（如用户会话日志）虽能提升稳定性，但 token 成本急剧上升，且可能让 Agent 提前宣布虚假成功。实践中应设置上下文窗口截断上限，并监控 false success 类型的失败。
- 时间维度的扩展不解决根本问题：增加最大步数（如搜索推荐多轮对话尝试）常常只是延长错误轨迹，而非纠正错误。应结合在线失败检测（如 stall 检测）和早停机制，而非盲目扩大步数。
- 结构化解耦（Planning + Execution）在本地模型上可能引入规划与格式解析开销：若将推荐 agent 拆分为计划器和执行器，小模型容易产出格式有误的计划，或计划质量低下。若必须使用两阶段架构，可考虑加入格式校验和重试逻辑，或改用单阶段端到端方案。
- 并行采样可以部分缓解单轨错误，但计算成本高：类似 Best-of-N 采样在本地部署中可能因并行调用导致硬件压力过大。可考虑在关键决策步骤（如 item 选择）才启用少数几次并行，并设置超时和多数投票机制。
Plover：以计划为中心的人机协同 GUI Agent 系统
🧭 GUI Agent 的可监督规划与交互修正
University of California, Davis · Bosch Research North America
通过将任务计划外化为可编辑的交互工件，让用户能局部修正 Agent 行为而保持进度
📌 工作参考价值（4 点）
- 在业务 Agent 中暴露执行计划：对搜索推荐系统的多步调用（如意图解析→召回→排序→文案生成），可将内部步骤结构化为可读的计划树，让产品或运营人员实时查看、暂停或修改中间决策。
- 支持局部编辑与进度保持：当 Agent 某一步出错（如误判意图），允许直接编辑该步参数或替换子任务，而不丢弃已完成的有效步骤，避免全盘重试带来的延迟和算力浪费。
- 结合自然语言与界面截图交互：对于电商后台配置、广告创编等 GUI 密集型任务，可以借鉴自然语言指导与截图标注干预，让领域专家无需懂代码即可修正 Agent 行为。
- 借助失败案例分析改进 Agent 设计：通过显式记录计划执行轨迹，分析哪些步骤易出错，定向优化提示或模型，或积累常见修正模式用于主动提示用户或自动修复。
ReVision：通过时间视觉冗余缩减扩展计算机使用代理
🧭 计算机使用代理 · 视觉冗余压缩 ★ 深度解读
University of British Columbia · Microsoft Research
去除连续 GUI 截图中的冗余视觉补丁，减少 token 开销的同时提升成功率，并让更长历史成为可能。
📌 工作参考价值（4 点）
- 视觉序列输入的去冗余思路：在需要处理连续图像（如商品展示流、用户生成内容的视频帧、广告创意迭代）的多模态推荐或 Agent 场景，可以借鉴 ReVision 的 patch‑level 冗余检测器，训练轻量 MLP 判断 patch 是否足够相似，从而减少重复 token，降低 LLM 推理成本。
- 冗余移除反而提升性能的发现：论文表明移除冗余视觉 token 会迫使模型更依赖历史中的有效信号，从而提升长程决策。这提示在推荐序列建模中，适当丢弃高度重复的特征可能有助于泛化，而不是一味保留全部信息。
- 延迟上下文饱和点：ReVision 通过压缩视觉 token 使模型可在相同上下文预算下纳入更多历史帧，持续获益。这对需要处理长用户行为序列的 agent 或推荐系统启示：通过特征压缩，可以延长有效历史的长度，而非简单地增加输入。
- 训练与推理一致的 token 过滤策略：在微调阶段就使用过滤后的视觉轨迹，使模型学会从历史帧中“补全”信息。这种训练技巧可迁移到其他多模态序列任务，确保模型适应推理时的压缩输入。